Rockefeller dilahirkan di Bar Harbor, Maine, Amerika Syarikat pada 8 Julai 1908. Beliau merupakan anak kepada John D. Rockefeller Jr. dan Abby Aldrich Rockefeller. Beliau adalah salah seorang cucu kepada John D. Rockefeller Sr., pengasas syarikat minyak Standard Oil.

Pada tahun 1930, Rockefeller berkahwin dengan Mary Todhunter Clark dan mendapat empat anak iaitu Michael Rockefeller, Steven Clark Rockefeller, Rodman Rockefeller dan Ann Rockefeller. Pada tahun 1962, beliau bercerai dengan Mary dan berkahwin dengan Margaretta Large Fitler pada tahun 1963 dan mendapat tiga orang anak lagi iaitu Mark Rockefeller, Malinda Fitler Murphy dan Nelson Rockefeller Jr.